Smooth Diffusion
https://shi-labs.github.io/Smooth-Diffusion/static/images/smooth-diffusion.mp4
https://shi-labs.github.io/Smooth-Diffusion/Project
https://arxiv.org/abs/2312.04410Smooth Diffusion: Crafting Smooth Latent Spaces in Diffusion Models
https://github.com/SHI-Labs/Smooth-Diffusion/SHI-Labs/Smooth-Diffusion
潜在空間の滑らかさは、GANベースの画像生成モデルでは重要な性質として研究されてきましたが、拡散モデルではほとんど探求されていませんでした。
GAN特有の特性だと思ってたnomadoor.icon
Step-wise Variation Regularization
拡散モデルの逆伝播過程の任意のステップで、入力変数と出力画像の変化量の比率が一定になるように制約をかけます。
潜在空間の滑らかさを向上させることで、画像補間、画像反転、画像編集などの下流タスクの品質を大幅に改善し、既存の拡散モデルや他の画像生成モデルと競合する結果を示しました。
LoRAとして実装される